Hiến pháp Hoa Kỳ, được thảo tại thành phố Philadelphia tiểu bang Pennsylvania năm 1787 và được các tiểu bang thông qua một năm sau đó, đã trao quyền cho Tổng thống Hoa Kỳ trách nhiệm trông coi quan hệ ngoại giao của quốc gia. Chẳng bao lâu sau đó người ta nhận thấy rõ ràng một bộ hành chính liên bang cần có để hỗ trợ Tổng thống tiến hành các công việc của Chính phủ liên bang mới.

Hạ viện và Thượng viện chấp thuận thành lập một Bộ Ngoại vụ (Department of Foreign Affairs) vào ngày 21 tháng 7 năm 1789, và Tổng thống Washington ký thành luật vào ngày 27 tháng 7 thành lập Bộ Ngoại vụ Hoa Kỳ. Đây là cơ quan liên bang đầu tiên được thành lập dưới Hiến pháp mới (hiến pháp của có tên gọi Các điều khoản Hợp bang). Luật này vẫn là luật cơ bản của Bộ Ngoại giao Hoa Kỳ ngày nay. Tháng 9 năm 1789, luật phụ ra đời nhằm đổi tên cơ quan này từ Department of Foreign Affairs (Bộ Ngoại vụ Hoa Kỳ) thành Department of State (có nghĩa là Bộ Nhà nước Hoa Kỳ nhưng trong tiếng Việt luôn được gọi là Bộ Ngoại giao Hoa Kỳ) và giao cho bộ một số các trách nhiệm đối nội khác nhau nữa.

Các trách nhiệm của bộ gia tăng gồm có việc quản lý Sở Đúc tiền Kim loại của Hoa Kỳ (United States Mint), giữ Đại ấn Hoa Kỳ, và giữ nhiệm vụ điều tra dân số. Tổng thống George Washington ký luật mới ngày 15 tháng 9. Phần lớn các nhiệm vụ quốc nội này của Bộ Ngoại giao từ từ được trao lại cho các bộ và các cơ quan liên bang mới được thành lập trong thế kỷ 19.

Ngày 29 tháng 9 năm 1789, Tổng thống Washington bổ nhiệm Thomas Jefferson của tiểu bang Virginia, lúc đó là Đại diện đặc trách ngoại giao với Pháp, trở thành Bộ trưởng Ngoại giao Hoa Kỳ đầu tiên mặc dù John Jay đã từng phục vụ công tác ngoại giao này với vai trò chuyển tiếp từ thời Liên hiệp kể từ trước khi Washington nhậm chức và tiếp tục công việc ngoại giao cho đến khi Jefferson từ châu Âu trở về vài tháng sau đó.